TD
The Decoder • 28일 전
IMP 8
오픈AI, 게스트 ChatGPT 응답 비용 절반 이상 감소
오픈AI는 최적화 기술을 통해 계정이 없는 게스트 사용자의 인퍼런스 비용을 절반 이상으로 줄이는 데 성공했습니다. 이에 따라 해당 사용자에게 서비스를 제공하는 데 필요한 엔비디아 GPU 수가 단 수백 개로 급감했으며, 확보된 리소스는 향후 서비스 확장이나 더 나은 모델 개발에 투입될 전망입니다. 데이터센터 구축이 더딘 상황에서 이러한 효율 개선은 AI 모델의 인퍼런스 비용(Inference cost) 절감이라는 실무적으로 매우 중요한 의미를 갖습니다.
오픈AI 인퍼런스 비용 GPU